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异 构 资源 环境 下 Hadoop 节点 能 力 自 适应 调度 算法 
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摘 要 : 为 了 解决 当前 Hadoop 集群 在 异 构 资 源 环境 下 固有 的 调度 分 配方 法 的 不 足 ， 提 出 了 一 种 基于 节点 能 力 的 自 
适应 调度 算法 NCAS (node capacity adaptive scheduling) 。 首 先 ，NCAS 算法 根据 节点 性 能 、 任 务 特 征 计 算得 到 调 
度 因 子 ; 然后 ， 由 调度 因子 确定 各 节点 应 分 得 的 数据 量 与 任务 槽 数 ; 最 后 ， 将 数据 和 任务 多 分 给 快 节点 同时 少 分 给 
慢 节 点 。 实 验 结果 表明 ， 与 传统 的 调度 算法 相 比 ，NCAS 算法 大 幅度 减少 了 备份 任务 的 启动 数量 ， 明 显 减少 了 作业 
完成 时 间 ， 提 升 了 任务 执行 效率 。 
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Hadoop node capability adaptive scheduling algorithm in Heterogeneous resource environments 


Shen Xuelia Sheng Fangyan? 
(a. School of Electronics & Information Engineering, b. School of Graduate Studies, Liaoning Technical University, 
Huludao Liaoning 125105, China) 


Abstract: Im order to solve the shortcomings of current Hadoop cluster inherent Scheduling distributed methods in 
heterogeneous resource environments, this paper proposed an adaptive scheduling algorithm NCAS (Node Capacity 
Adaptive Scheduling) based on the node capability. Firstly, NCAS algorithm calculated the scheduling factor based on node 
performance and task characteristics; Secondly, the scheduling factor determined the amount of data and the number of task 
slot that each node should be assigned; Finally, NCAS algorithm dispatched data and tasks more into fast nodes and less into 
slow nodes. Experimental results show that, compared with the traditional scheduling algorithm, NCAS algorithm can 
greatly reduce the number of speculative tasks, significantly reduce the job completion time. It also can improve the task 
execution efficiency . 


Key words: Hadoop; Heterogeneous resource; node capability; adaptive 


0 引言 NCAS。 该 算法 通过 计算 得 到 代表 各 节点 计算 能 力 大 小 的 调 
度 因子 的 值 ， 根 据 调度 因子 为 快 节点 或 慢 节 点 分 配 任务 槽 数 
Hadoop 吊 作为 一 个 云 存储 和 云 计算 的 开源 解决 方案 ， 在 和 数据 量 的 多 少 ， 达 到 提高 系统 整体 执行 效率 的 目的 。 
学 术 界 和 工业 上 都 受到 越 来 越 广泛 地 运用 。 作 业 调 法 和 1 研究 背景 
任务 调度 算法 在 Hadoop 的 性 能 中 起 着 十 分 重要 的 作用 P31。 UE 
CS 目前 Hadoop 几 种 常见 的 作业 调度 算法 有 先进 先 出 调度 算法 Hadoop 的 核心 主要 由 两 部 分 构成 : 分 布 式 文件 系统 
FIFO(first in first oub 负 、 公 平 调度 算法 (fair schedulemD5、 讨 HDFS(Hadoop distributed file system) 和 MapReduce 的 实现 系 
算 和 能 力 调度 算法 (capacity schedulenIg 等 。 这 些 Hadoop 作业 统 。 
调度 算法 都 是 针对 同 构 集群 资源 的 情况 设计 ， 在 异 构 资 源 环 Hadoop 集群 的 系统 架构 由 一 个 主 节点 和 一 组 从 节点 构 
境 下 效率 低下 中 ,为 了 解决 异 构 环境 下 Hadoop 默认 推测 式 任 成 。 如 图 1 所 示 ，HDEFS 中 主 节点 和 从 节点 上 分 别 运行 一 个 
务 调度 算法 (Speculative Task) 芭 的 不 足 , Zaharia 等 人 外 提出 了 NameNode 和 DataNode 进程 。NameNode 存储 HDFS 中 的 元 
LATE 调度 器 ， 通 过 为 最 长 剩余 完成 时 间 的 任务 启动 备份 任 数据 ， 负 责 响 应 用 户 对 HDFS 文件 系统 的 访问 ; DataNode 负 
务 提升 了 Hadoop 的 任务 执行 效率 ， 但 其 中 估算 任务 剩余 完 责 存 储 数据 ， 执 行 NameNode 的 命令 ， 对 数据 块 进行 创建 、 
成 时 间 有 待 改 进 ; 陶 永 才 等 人 50 提出 了 一 种 自 适 应 复制 和 删除 ， 客 户 端 可 直接 对 DataNode 执行 读 写 操作 50。 
MapReduce 调度 器 ， 此 算法 解决 了 Hadoop 在 异 构 资源 环境 HDFS 收 到 文件 后 将 其 分 割 成 大 小 相等 的 数据 块 (3， 并 复 和 
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下 某 种 程度 上 负载 分 布 不 均 的 问题 ， 但 其 中 任务 预期 完成 时 ”三 次 存储 于 不 同 节点 。 

间 较 难 确定 ; 郑 晓 薇 等 人 00 提 出 了 一 种 基于 节点 能 力 的 任务 2 所 示 为 MapReduce 工作 框架 , 用 户 提交 的 作业 被 分 

自 适应 调度 方法 ， 它 充分 考虑 了 集群 中 节点 资源 的 异 构 性 ， 成 若干 map 任务 和 reduce 任务 04， 每 个 map 任务 处 理 一 个 

但 其 易 引 起 节点 间 数 据 频繁 传输 ， 占 用 网 络 带宽 ， 降 低 系统 ”数据 块 ， 输 出 相应 的 键 值 对 ，reduce 任务 处 理 这 些 键 值 对 得 

性 能 。 到 最 终 输 出 结果 051。 每 个 从 节点 上 有 一 定数 量 的 map 任务 覃 
为 解决 上 述 研究 中 Hadoop 调度 算法 在 异 构 环 境 下 仍 存 和 reduce 任务 槽 ， 一 个 槽 执行 一 个 相应 类 型 的 任务 ， 覃 配 

在 的 运行 效率 低下 问题 ， 提 出 了 节点 能 适应 调度 算法 在 Hadoop 的 性 能 上 起 着 至 关 重 要 的 作用 L561。 为 了 管理 作业 
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的 运行 ， 主 节点 与 从 节点 上 分 别 运行 一 个 JobTracker 
TaskTracker 进程 。JobTracker 负责 调度 各 个 Map 任务 


和 
和 


Reduce 任务 到 相应 的 TaskTracker 上 ， 并 进行 任务 执行 监控 
与 容错 管理 ; TaskTracker 负责 执行 分 得 的 Map 任务 和 Reduce 


任务 ， 收 集 和 存储 所 得 结果 ， 并 通过 周期 性 心跳 将 节点 的 
前 状态 与 资源 利用 情况 汇报 给 JobTracker。 系 统 为 落后 任 
启动 备份 任务 ， 重 新 调度 执行 运行 失败 的 任务 。 
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图 1 HDFS 工作 框架 
Fig.1 The work framework of HDFS 


Client 
Submit Job 


tht eh Eh sy hep ade J RR ES ee 


Task Tracker Task Tracker Task Tracker 
Slot Slot Slot 
Slot Slot Slot 
图 2 MapReduce 工作 框架 


Fig.2 The work framework of mapreduce 
2 NCAS 调度 算 ; 


NCAS 算法 收 到 用 户 的 文件 后 首先 对 其 分 割 ， 之 后 将 
到 的 数据 块 依次 分 配 到 HDFS 上 保存 , 然后 进行 Map 任务 
度 ， 以 及 Reduce 任务 调度 。 为 讲解 清楚 , 首先 讲述 两 个 相 
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务 
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概念 ， 然 后 提出 自 适 应 数据 分 发 算法 和 自 适 应 任务 调度 算 
构成 了 NCAS 算法 。 
2.1 相关 概念 
2.1.1 调度 因子 
调度 因子 与 节点 性 能 、 任 务 特征 两 个 因素 有 关 ， 它 代 
了 节点 计算 能 力 的 强 弱 。 其 中 节点 性 能 可 由 节点 的 硬件 参 


法 


表 
数 
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确定 ， 硬 件 参数 越 大 , 它 的 节点 性 能 就 越 好 。 在 异 构 环 境 
相同 柳 处 理 不 同 作 业 时 表现 出 不 同 的 运算 速度 1, 定义 任 
特征 来 表示 同一 节点 执行 不 同 任务 时 表现 出 的 不 同性 能 
Hadoop 集群 处 理 的 作业 类 型 主要 有 三 种 ， 分 别 为 CPU 密 
型 (CPU-bound) 、JIO 密集 型 (IJO-bound) 和 二 者 的 混 
型 (class sway) 08。 本 文中 选用 CPU-bound 型 和 IO-bou 
型 的 任务 ， 以 节点 从 前 执行 不 同类 型 任务 所 花 时 间 为 参数 
算得 到 任务 特征 的 值 。 随 着 任务 不 断 执行 ， 任 务 特征 参数 
能 发 生变 化 ， 设 置 一 定 周期 更 新 计算 任务 特征 参数 。 本 文 
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过 脚本 读 取 并 计算 各 种 节点 信息 值 ， 把 结果 保存 在 文件 中 。 
针对 资源 集 R={ri,r2…,rm} ,用 Ni 和 Ty 分 别 表示 节点 rj(1 


ChinaXiv 合 作 期 刊 


录用 定稿 沈 学 利 ， 等 : 异 构 资 源 环境 下 Hadoop 节点 能 力 自 适应 调度 算法 第 37 卷 第 2 期 


科 j 科 mm) 的 节点 性 能 和 任务 特征 ， 岗 为 其 调度 因子 。 节 点 地 
的 CPU 主 频 、 内 存 容量 、 网 络 带宽 和 磁盘 最 大 读 写 速率 分 别 
为 tty、ttmw、ttn 和 上 地， 集群 平均 的 CPU 主 频 、 内 存 容量 、 
网 络 带 宽 和 磁盘 最 大 读 写 速率 分 别 为 avge、avgm、avgn 和 
avgd。 节 点 性 能 的 计算 为 : 


在 ttynj tt tta; 


Nj = Wi* Ey 十 W2 * 十 W3* ue 十 Wa4 * (1) 
avge CQVSm dvgn AVg8aq 
4 
Sw=1 (2) 
=l 


其 中 :wi1、w2、w3 和 wa 分 别 为 CPU 主 频 、 内 存 容量 、 网 络 
带宽 和 磁盘 最 大 读 写 速率 在 节点 性 能 中 的 权重 值 ， 权 重 值 之 
和 满足 式 (2)。 
由 本 地 用 户 日 志 可 查 到 节点 完成 任务 的 历史 时 间 记 录 ， 
计算 得 到 节点 tj 运行 Map 任务 CPU-Bound 型 与 /O-Bound 
型 的 平均 完成 时 间 为 ftom 和 ttiom， 运 行 Reduce 任务 
CPU-Bound 型 与 JO-Bound 型 的 平均 完成 时 间 为 如 六 与 ttiow， 
集群 运行 Map 任务 CPU-Bound 型 与 /0-Bound 型 平均 完成 
时 间 为 avgem 和 avgiom， 运 行 Reduce 任务 CPU-Bound 型 与 
IO-Bound 型 的 平均 完成 时 间 为 avgw 和 avgior。 任 务 特征 Ty 
表示 为 


1 1 
* ,Map 阶段 ; 
Ti 区 fomj fo opt on (3) 


, Reduce 阶段 . 


term /avger tiorj/ aVvgior 


调度 因子 Wi 的 计算 式 为 
Wj = ws * Nry + we * Tr (4) 
ws+we=1 (5) 


其 中 : ws、we 分 别 为 节点 性 能 、 任 务 特征 在 调度 因子 中 的 权 
EE 值 ， 权 重 值 之 和 满足 (5) 式 。 

2.1.2 节点 异 构 性 

] 异 构 因 子 HF(heterogeneity factor) 表 示 和 集群 资源 的 计 
算 能 力 异 构 性 。 定义 HF 为 集群 资源 集 R={r1,r2,…,rm} 的 平均 
异 构 因子 , 不同 作 业 使 用 CPU 和 JI/O 资源 的 程度 不 同 ， 所 以 
HF 因 运 行 完 不 同类 型 任务 而 不 同 。HF 的 表达 式 为 


HF =\D(X) = VECX - E(X))” (6) 


加 是 了 的 调度 因子 ， 如 式 (7) 所 示 。E() 是 X={x1,xX2,"…,Xm} 


| 内 
ul 


X=W 
2 0) 
Xm a Wn 
m 
E(X)= 2 “P; (8) 
起 


的 均值 ， 通 过 式 (8) 计 算 。 其 中 节点 二 分 得 任务 的 几率 为 Pj， 
集群 中 有 m 个 节点 ，Pj 为 1/m，D(X) 是 站 的 均 方差 。 
2.2 自 适 应 数据 分 发 算法 

在 异 构 资 源 环境 下 ， 各 节点 计算 能 力 差 别 大 ， 每 个 节点 
分 得 相同 的 数据 量 ， 很 快 处 理 完 本 节点 数据 的 快 节点 需 处 理 
慢 节 点 上 的 数据 ， 远 距离 快慢 节点 间 传 输 大 量 数据 需 巨额 花 
费 。 为 尽量 避免 产生 这 种 情况 209， 使 各 节点 存储 的 数据 量 和 
它 的 计算 能 力 大 小 成 正比 ， 需 远程 传输 的 数据 量 将 减少 很 多 
P0。 自 适应 数据 分 发 算法 根据 调度 因子 将 大 量 数据 分 配给 快 
节点 ; 少量 数据 分 给 慢 节 点 ， 避 免 远程 传输 大 量 数据 ， 占 用 
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网 络 带 宽 。 表 1 实验 资源 节点 配置 
异 构 环 境 下 节点 1j 的 数据 分 配 量 Np(n)) 通 过 下 式 计算 : Table 1 Experimental resource node configuration 
第 1 组 第 2 组 第 3 组 
而 (Ji= xc (9) 节点 数 个 3 3 7 
m EX) 
节点 编号 1,2,3 4,5 6,7 
其 中 : Np 为 用 户 作 业 数 据 量 (此 时 忆 中 的 Ty 取 Map 阶段 的 CPU 主 频 /MHz 3072 2457 3379 
值 ) 。 内 存 容 量 /GB 2 入 
自 适 应 DFS 数据 分 发 算法 如 下 : 节 网 络 带宽 
a) 对 资源 节点 集合 R 中 的 每 一 个 节点 nj 通过 式 (有 )~(5) 。 员 。 MMb sn 0 eu 
计算 W， 令 罗 =W; 置 “最 大 磁盘 读 写 速 分 别 为 70.02,72.51, 分 别 为 80.50, 分 别 为 85.23， 
b) 通过 式 (8) 计 算 E(X)， 对 R 中 的 每 一 个 节点 fy， 通过 率 /((MB * S-D) 71.36 77.69 84.69 
(6) 式 计算 HF; 核心 数 2 入 总 


c) 比较 HF 与 设 定 的 异 构 因 子 阐 值 HFimreshor 的 大 小 关 
系 ， 如 果 HF<HFtresho4， 则 说 明 集 群 资源 为 同 构 ， 各 节点 均 
分 Np; 否则 集群 资源 为 异 构 ， 按 式 (9) 计 算 ， 各 节点 根据 所 


得 结果 分 配 数据 量 。 
2.3 自 适应 任务 调度 算法 
当前 的 调度 方法 面 对 异 构 集群 时 会 产生 负载 分 布 不 均 世 


问题 。 为 尽 可 能 在 某 种 程度 上 均衡 负载 ， 提 出 自 适应 任务 调 
度 算法 。 它 根据 调度 因子 运算 ， 得 到 与 各 节点 计算 能 力 大 小 
相 匹 配 的 任务 槽 数 进行 分 配 。 自 适应 任务 调度 算法 包含 两 部 
分 ， 先 介绍 其 中 的 自 适应 Map 任务 调度 : 


异 构 环 境 下 分 配给 节点 的 任务 槽 数 Nwo(z) 通 过 下 式 计 
算 : 
区 和 
Nao ) = BOE * Nstor (10) 


其 中 : Nyyoi 为 系统 预先 设 定 均 分 的 任务 槽 数 〈 此 时 刁 中 的 Ty 


取 Map 阶段 的 值 ) 。 
自 适应 Map 任务 调度 算法 如 下 : 

第 一 步 

a) 对 资源 节点 集合 R 中 的 每 
计算 扩 ， 令 罗 =W; 

b) 通过 式 (8) 计 算 E(X)， 对 R 中 的 每 一 个 节点 fj， 通 过 
式 (6) 计 算 HF; 

c) 比较 HF 与 设 定 的 异 构 因子 阔 值 HFtnreshor 的 大 小 关 
系 ， 如 果 HF<HFthresho4， 则 说 明 集群 资源 为 同 构 ， 各 节点 任 


务 模 数 设 定 为 www ; 否则 集群 资源 为 异 构 , 各 节点 设 定式 (10) 


计算 所 得 的 任务 模 数 Nwor(7)。 
第 二 步 
d) 若 某 个 TaskTracker 上 存在 空闲 map 任务 槽 ， 
JobTracker 为 其 分 配 未 被 调度 的 map 任务 ; 
e) TaskTracker 定期 向 JobTracker 发 送 心跳 信号 ， 汇 报 
节点 运行 状态 ; 
f) 当 有 map 任务 完成 时 ，TaskTracker 向 JobTracker 发 
送 心跳 信息 ，JobTracker 为 其 设 定式 (10) 计 算 所 得 的 任务 构 


个 节点 通过 式 (1) 一 (5) 


自 适 应 reduce 任务 调度 与 自 适 应 map 任务 调度 类 似 , 不 
同 之 处 在 于 性 中 Ty 取 reduce 阶段 的 值 ， 为 避免 文章 见长 ， 
在 此 不 做 介绍 。 


3 ”验证 及 分 析 


为 验证 算法 ， 措 建 一 个 由 三 个 机 架 组 成 的 集群 。 每 个 机 
架 由 一 组 不 同 配置 的 计算 机 节点 组 成 ， 机 架 内 部 与 机 架 之 间 
都 由 交换 机 连 到 一 起 ， 各 个 计算 机 节点 的 参数 见 表 1。 


实验 中 选用 的 测试 程序 分 别 为 属于 CPU-bound 型 任务 
的 grep-count、 属 于 IO-bound 型 任务 TeraSort 和 属于 class 
sway 型 任务 的 WordCount。 根 据 集群 的 运行 情况 ， 设 定 
的 周期 ， 更 新 任务 特征 参数 并 从 文件 中 获取 任务 特征 的 修正 
值 。 


集群 在 推测 式 任务 调度 算法 下 分 别 运行 grep-count 和 
TaraSort 程序 10 次 ， 每 个 程序 的 数据 量 为 3.0GB。 记 录 运 行 
过 程 中 产生 的 map 任务 与 reduce 任务 的 运行 信息 , 经 过 计算 
可 得 任务 特征 初 值 ， 各 节点 平均 历史 时 间 数 据 记 录 如 表 2 所 
不 。 

实验 从 Hadoop 启动 的 备份 任务 数 和 作业 完成 时 间 两 个 
方面 来 评价 传统 调度 算法 和 NCAS 算法 的 性 能 。 

表 2 各 节点 的 历史 运行 信息 

Table 2 Historical operation information of each node 

map 任务 平均 运行 时 间 /s reduce 任务 平均 运行 时 间 /s 


节点 编号 Grep-Count TeraSort Grep-Count TeraSort 

1 13 19 70 220 

2 14 24 78 285 

3 25 52 112 392 

4 22 20 109 226 

5 28 22 135 263 

6 9 15 52 188 

11 16 58 202 

所 有 节点 均 放 ?4 88 254 
值 


图 3 所 示 为 启动 作业 数据 量 分 别 为 2GB、4 GB 和 8 GB 
的 WordCount 时 ， 现 有 Hadoop 中 默认 的 推 式 任务 调度 算法 
与 NCAS 算法 启动 备份 任务 数 的 对 比 图 。 由 图 可 知 ，NCAS 
算法 与 推测 式 任务 调度 算法 相 比 ， 启 用 的 备份 任务 数 平均 减 
少 了 70.0%。 分 析 原 因 如 下 : 现 有 Hadoop 默认 集群 中 的 资源 
是 同 构 的 ， 各 节点 均 分 任务 槽 数 和 数据 量 ， 慢 节点 上 很 多 任 
务 运行 落后 ， 使 系统 启动 了 许多 的 备份 任务 ; 而 NCAS 算法 
依据 调度 因子 为 各 节点 确定 与 其 计算 能 力 相 匹配 的 任务 模 数 
和 数据 量 ， 使 集群 运行 过 程 中 各 节点 的 进度 大 小 相对 比较 均 
衡 ， 减 少 了 备份 任务 的 启动 数量 ， 集 群 的 性 能 得 到 了 优化 。 
实验 程序 数据 量 设 为 4GB， 将 Hadoop 集群 分 别 运行 在 
未 启动 推测 式 任务 调度 算法 的 Hadoop 调度 器 、 推 测 式 任 务 
调度 算法 、LATE 算法 和 NCAS 算法 下 ， 每 种 任务 类 型 的 程 
序 在 四 种 算法 下 各 执行 3 次 取 均 值 ， 获 得 的 运行 信息 如 图 4 
所 示 。 


图 4 可知， 各 类 型 测试 程序 下 系统 采用 未 启动 推测 式 
任务 调度 算法 的 Hadoop 调度 器 运行 时 间 都 要 远 多 于 其 他 三 
种 算法 。NCAS 算法 与 推测 式 任务 调度 算法 相 比 ， 运 行 时 间 
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F 均 减少 了 32.2%; 与 LATE 算法 相 比 ， 运 行 时 间 平 均 减 少 
了 16.6%。 主 要 原因 是 推测 式 任务 调度 算法 中 Hadoop 默认 全 
群 在 同 构 资源 环境 下 , 慢 节 点 启动 了 大 量 的 备份 任务 ; LATE 
算法 对 落后 任务 的 判定 更 加 精确 ， 但 未 从 根本 上 解决 推测 式 
任务 调度 算法 遇 到 的 问题 ， NCAS 算法 为 每 个 节点 确定 与 其 
计算 能 力 大 小 成 正比 的 任务 槽 数 和 数据 量 ， 使 运行 时 间 明 显 
缩短 。 


100 
人 ON Speculative Task 
< NCAS 
~ 80 
天 
如 60[ ] 
去 
SS 40 上 ] 
馆 
演 
局 20 上 ] 
亚 | 
0 . 
2 4 8 
作业 数据 量 (GB) 
图 3 启动 备份 任务 数 比 较 图 
Fig.3 Comparison of running backup tasks 
[ 国 No Speculative Task 
600 上 | Speculative Task ] 
人 LATE 
LO NCAS 
所 400 上 ] 
万 
1 
sm 
区 200 上 ] 
, | le 
TeraSort Grep-Count WordCount 
任务 类 型 
图 4 不 同 算法 运行 时 间 对 比 图 


Fig.4 Comparison of different algorithm running time 
4 ”结束 语 


本 文 研究 了 Hadoop 的 主要 架构 及 运行 原理 ， 提 出 了 异 
构 资源 环境 下 节点 能 力 自 适应 调度 算法 NCAS。 该 算法 通过 
对 节点 计算 能 力 相 关 量 的 计算 得 到 调度 因子 ， 由 调度 因子 所 
5 集群 调度 因子 总 和 的 比例 来 确定 节点 应 分 得 的 数据 量 和 任 
务 槽 数 ， 快 节点 多 分 慢 节点 少 分 ， 使 集群 负载 一 直 处 于 相对 
均衡 的 状态 。 实 验 结果 表明 ，NCAS 算法 提高 了 Hadoop 在 


地 


异 构 资 源 环 境 下 的 资源 利用 率 , 提升 了 Hadoop 的 系统 性 能 。 

今后 的 工作 中 ,在 节点 性 能 和 调度 因子 中 权重 值 的 设 定 、 
可 能 难以 估算 任务 剩余 完成 时 间 、 可 能 占用 大 量 网 络 带宽 
淘 低 系统 性 能 方面 ， 对 本 文 算法 将 做 进一步 的 完善 与 优化 。 
随 着 Hadoop 集群 的 不 断 发 展 ， 影 响 节点 性 能 的 因素 也 在 不 
断 变化 ， 将 对 任务 调度 算法 做 更 加 深入 的 研究 。 
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